4DMemory：长时程时空记忆基准与 Harness 增强 Agent
🧭 长视频时空记忆评测与 Agent 增强
Nanyang Technological University · Token Foundry, Alibaba · The Chinese University of Hong Kong · Institute of Neuroscience, Chinese Academy of Sciences · University of Chinese Academy of Sciences
发布900小时长视频基准与4DMemory Harness，使13个基础模型长时程时空推理提升超50%
📌 工作参考价值（4 点）
- 用户长期行为序列（浏览/点击视频、直播切片）可借鉴「感知记忆+工具检索」分离：将原始行为编码成可索引的时空片段，按需用专用工具抽取关键事件，避免把所有帧塞进长上下文，降低遗忘与幻觉。
- 4DMemory Harness 的多技能+工具模型编排可迁移到电商多模态 Agent：把商品识别、场景理解、OCR、时序定位拆成小模型/工具，由主 LLM 调度，并通过 model-specific RAG 为不同基底模型定制检索策略，论文中所有模型提升超50%，稳定性可复用。
- 长时程评测设计值得借鉴：构造跨数小时、数天的细粒度问题（例如商品在第几分钟出现、促销文案变化顺序），压测 Agent 长期记忆与召回模块，提前暴露长会话信息丢失问题。
- 如业务含直播回放、商品讲解视频或广告素材库，可复用 LongVideo 构建思路，标注时空问答对，评估多模态检索和推荐理由是否准确引用正确时刻。
JevAgentHarness：与LLM共享控制的决策模型基准、部署与训练
🧭 Agent决策模型与LLM级联降本提速 ★ 深度解读
University of Illinois Urbana-Champaign · Princeton University · Google
以置信度阈值将Agent常规多选决策委派给4B决策模型，最高降本89%、提速2.5倍，成功率损失<3点
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 的 tool call 与参数选择中，可以把大量常规多选决策（查订单、选参数、退款原因、确认动作）交给 4B 级 decision model，按置信度级联；阈值需按 decision point 在 shadow 轨迹上单独拟合，不要用全局固定阈值（论文固定0.5掉21.5点）。
- 评测决策模型不能只看离线准确率：StartLux-9B 离线最好但在 task-level 仅 69.5%；建议建立 step-level/task-level 回归集，特别是包含错误后状态和 must-ask 状态，否则会误判上线收益。
- 训练专属小决策模型时，用业务 agent 自己的轨迹做 SFT 非常划算（Qwen3-4B shifted task 成功率 13.5%→96.0%，仅 2.2 GPU-hours）；数据里要刻意注入错误后状态（论文30.9%），否则模型无法应对 agent 自身失误后的局面。
- 不可逆/高风险动作（取消订单、支付、发送消息）不要只交给 decision model 或 guard；对新增业务规则需重新训练/重新拟合阈值，否则成功率可能从88%跌到3%。
Harness²：开放世界中的递归 Agent 驾驭框架
🧭 Agent harness 递归自改进 ★ 深度解读
Northwestern University · Google Cloud AI Research
提出 Harness²，通过对比性 Propose-Probe-Compose 与经验库更新，在无 ground-truth 的开放世界中持续改进 agent harness。
📌 工作参考价值（4 点）
- 将推荐/搜索 agent 的运行时组件（prompt、工具说明、技能、子代理、中间件）显式文件化，支持在线编辑和版本管理，比黑盒 prompt 更容易自动优化。
- 在没有 ground-truth 的在线场景（如 query 推荐、文案生成质量难以标注），采用 Propose-Probe-Compose 的行为对比方法：让候选 harness 与当前 harness 执行同一任务，对比轨迹和输出差异作为编辑证据，避免依赖不可靠的奖励模型。
- 建立跨任务的经验库（harness improvement library），存储成功的 harness 组件和适用条件，支持新任务时按需检索和复用，避免每次从零调优；类似电商场景中不同品类/活动下的 agent 配置可以复用。
- 将 harness 优化与模型解耦，冻结模型权重，只优化外围组件，降低成本并便于快速迭代；弱模型配合优化后的 harness 可以超过强模型默认 harness。
Aspire：模型能从模糊目标自我进化吗？
🧭 LLM 自我进化基准与评估
ByteDance Seed · Singapore University of Technology and Design · M-A-P · TokenWave.AI
提出 Aspire 基准，考察 LLM 在仅给定模糊目标时的自主进化能力；当前代理权重级提升稀疏且不稳定
📌 工作参考价值（4 点）
- 在电商/推荐场景，模糊需求（如“提高转化率”）常被直接简化为单一指标优化；可借鉴 Aspire 的目标解释步骤：先显式拆解能力缺口、选择数据与验证信号，再启动训练或 Agent 编辑，避免初始搜索空间偏差。
- 自进化循环中，模型/代理容易信任狭窄的自评估，导致局部提升不迁移到线上；应保留一个与线上分布一致的隐藏评估集，并在每次更新后监控线上业务指标，避免过拟合自建验证数据。
- 持续训练会擦除早期改进（遗忘）；在线上模型持续更新或 Agent 迭代时，需要 checkpoint 回滚、阶段性评估与 early stop 策略，不能盲目多轮训练或搜索。
- 权重更新不稳定时，优先改进 harness（prompt/工具编排）是更稳路径；在搜索推荐 Agent 中可先用工作流、记忆或工具适配提升效果，待稳定后再考虑微调模型权重。
从模型缩放转向系统缩放：Agent 系统的框架工程
🧭 Agent 系统架构设计 · 从模型扩展到系统扩展 ★ 深度解读
UC Berkeley
将 Agent 性能瓶颈从单一模型能力提升为包含记忆、上下文、技能路由与治理的全系统设计问题。
📌 工作参考价值（4 点）
- 将记忆从“存储”重新设计为“信任”问题：在电商客服或推荐 Agent 中，对用户偏好、订单状态的记忆需增加时效性、验证性与置信度字段，检索时纳入衰减惩罚，避免过时信息导致错误推荐或承诺。
- 分离式上下文治理：构建上下文构造器，按任务动态组合最小必要信息（持久项目知识 + 实时检索），替代全量拼接历史；可类比推荐系统中只喂入当前会话必要特征与实时用户行为，降低噪声。
- 技能路由与后置校验：为工具和子 Agent 定义显式的后置条件检查，路由策略从固定规则转向在线学习（如基于置信度升级），防止未经验证的输出被直接采纳；这在多 Agent 协作的订单处理、库存查询中可显著减少错误扩散。
- 将评测从终点成功率拓展到过程与长期维度：建立包含轨迹质量、记忆卫生、上下文效率、通信保真度等维度的内部评测集，用于持续监控 Agent 系统退化，而不仅看单次任务完成率，适合推荐系统 A/B 测试中的长期收益与风险衡量。